Il cambiamento di paradigma nell'intelligenza artificiale
1. Dal particolare al generale
Il campo dell'IA ha subito una trasformazione enorme nel modo in cui i modelli vengono addestrati e implementati.
- Vecchio paradigma (Addestramento specifico per compiti):Modelli come i primi CNN o BERT erano addestrati per un obiettivo specifico (ad esempio, solo analisi del sentiment). Per tradurre, sintetizzare, ecc., era necessario un modello diverso.
- Nuovo paradigma (Pre-addestramento centralizzato + prompt):Un singolo modello estremamente grande (LLM) impara conoscenze generali sul mondo da dataset su scala internet. Può quindi essere guidato a svolgere quasi qualsiasi compito linguistico semplicemente modificando il prompt di input.
2. Evoluzione architetturale
- Solo encoder (Era di BERT):Orientati alla comprensione e alla classificazione. Questi modelli leggono il testo in entrambe le direzioni per cogliere il contesto profondo, ma non sono progettati per generare nuovo testo.
- Solo decoder (Era di GPT/Llama):Lo standard moderno per l'IA generativa. Questi modelli usano modelli auto-regressivi per prevedere la parola successiva, rendendoli ideali per la generazione aperta e la conversazione.
3. Motori chiave del cambiamento
- Apprendimento automatico:Addestramento con enormi quantità di dati non etichettati provenienti da internet, eliminando il collo di bottiglia dell'annotazione umana.
- Leggi della scalabilità:L'osservazione empirica secondo cui le prestazioni dell'IA crescono in modo prevedibile con la grandezza del modello (parametri), il volume dei dati e la potenza di calcolo.
Idea chiave
L'IA si è spostata da strumenti specifici per compiti a agenti generali che mostrano abilità emergenti come il ragionamento e l'apprendimento contestuale.
TERMINALbash — 80x24
> Ready. Click "Run" to execute.
>
Question 1
What is the primary difference between the "Old Paradigm" and the "New Paradigm" of AI?
Question 2
According to Scaling Laws, what three factors fundamentally link to model performance?
Challenge: Evaluating Architectural Fitness
Apply your knowledge of model architectures to real-world scenarios.
You are an AI architect tasked with selecting the right foundational approach for two different projects. You must choose between an Encoder-only (like BERT) or a Decoder-only (like GPT) architecture.
Task 1
You are building a system that only needs to classify incoming emails as "Spam" or "Not Spam" based on the entire context of the message. Which architecture is more efficient for this narrow task?
Solution: Encoder-only (e.g., BERT)
Because the task is classification and requires deep, bidirectional understanding of the text without needing to generate new text, an Encoder-only model is highly efficient and appropriate.
Because the task is classification and requires deep, bidirectional understanding of the text without needing to generate new text, an Encoder-only model is highly efficient and appropriate.
Task 2
You are building a creative writing assistant that helps authors brainstorm ideas and write the next paragraph of their story. Which architecture is the modern standard for this?
Solution: Decoder-only (e.g., GPT/Llama)
This task requires open-ended text generation. Decoder-only models are designed specifically for auto-regressive next-token prediction, making them the standard for generative AI applications.
This task requires open-ended text generation. Decoder-only models are designed specifically for auto-regressive next-token prediction, making them the standard for generative AI applications.